Xml warehouse modelling and queryinq

International audienceIntegrating XML documents in data warehouse is a major issue for decisional data processing and business intelligence. Indeed this type of data is increasingly being used in organisations’ information system. But the current warehousing systems do not manage documents as they do for extracted data from relational databases. We have therefore developed a multidimensional model based on the Unified Modeling Language (UML), to describe an XML Document Warehouse (XDW). The warehouse diagram obtained is a Star schema ( StarCD) which fact represents the documents class to be analyzed, and the dimensions correspond to analysis criteria extracted from the structure of the documents. The standard XQuery language can express queries on XML documents, but it is not suitable for analyzing a warehouse as its syntax is too complex for a non IT specialist. This paper presents a new language aimed at decision-makers and allows applying OLAP queries on a XDW described by a StarCD

Conception assistée d'entrepôts de données et de documents XML pour l'analyse OLAP

Aujourd hui, les entrepôts de données constituent un enjeu majeur pour les applications décisionnelles au sein des entreprises. Les sources d un entrepôt, c est à dire l origine des données qui l alimentent, sont diverses et hétérogènes : fichiers séquentiels, feuilles de tableur, bases de données relationnelles, documents du Web. La complexité est telle que les logiciels du marché ne répondent que partiellement aux attentes des décideurs lorsque ceux-ci souhaitent analyser les données. Nos travaux s inscrivent donc dans le contexte des systèmes décisionnels qui intègrent tous types de données (principalement extraites de bases de données relationnelles et de bases de documents XML) et qui sont destinés à des décideurs. Ils visent à proposer des modèles, des méthodes et des outils logiciels pour élaborer et manipuler des entrepôts de données. Nos travaux ont plus précisément porté sur deux problématiques complémentaires : l élaboration assistée d un entrepôt de données ainsi que la modélisation et l analyse OLAP de documents XML.Today, data warehouses are a major issue for business intelligence applications within companies. Sources of a warehouse, i.e. the origin of data that feed, are diverse and heterogeneous sequential files, spreadsheets, relational databases, Web documents. The complexity is such that the software on the market only partially meets the needs of decision makers when they want to analyze the data. Therefore, our work is within the decision support systems context that integrate all data types (mainly extracted from relational databases and XML documents databases) for decision makers. They aim to provide models, methods and software tools to elaborate and manipulate data warehouses. Our work has specifically focused on two complementary issues: aided data warehouse and modeling and OLAP analysis of XML documents.TOULOUSE1-SCD-Bib. electronique (315559902) / SudocSudocFranceF

Analyse OLAP d'un entrepôt de documents XML.

Les systèmes OLAP basés sur des entrepôts de données sont aujourd’hui bien intégrés dans les organisations, ils facilitent le traitement et l’analyse de l’information pour la prise de décision. Le développement du Web a conduit à l’accroissement du volume de données traité, ainsi qu’à la diversification des sources de l’information. Ce problème de diversification a été en partie résolu grâce au langage XML. Celui-ci permet en effet le traitement et l’échange de données complexes et hétérogènes. Seulement c’est un format qui s’adapte mal aux systèmes OLAP et d’entrepôts classiques. De plus il n’existe à ce jour aucun standard permettant de répondre à cette problématique. Aussi nous avons développé un modèle multidimensionnel qui utilise le formalisme orienté objet UML pour décrire un entrepôt de documents XML orientés-document. Le schéma de cet entrepôt (appelé StarCD) représente la structure des documents à analyser, telle qu’elle est connue par le décideur. Et dans cet article nous présentons un nouveau langage d’analyse OLAP destiné aux décideurs, qui permet d’exprimer des requêtes complexes sur un entrepôt de documents XML décrit par un StarCD

User support system for designing decisional database

The design of a multidimensional schema is usually performed by a specialist (computer scientist). According to data-driven, requirement-driven or hybrid-driven approaches, he determines the facts and axis of analysis. Such an approach assumes that the decision maker expresses, more or less formally, analysis needs and communicate them to the computer scientist. We propose multidimensional schema designing by the decision maker himself following a hybrid-driven approach. Through a process of assistance successively viewing intermediate schemas from sources, the decision maker gradually built his multidimensional schema. As what determined the measures studied, the analysis dimensions and hierarchies within dimensions. A software tool based on this principle has been developed and validated with decision maker

Analyse OLAP d'un entrepôt de documents XML

National audienceOLAP systems based on data warehouses are nowadays well integrated into organizations and they ease the process of information analysis for decision-making. The Web expansion led to increase the volume of the data handled, as well as the sources diversification. This problem was partially solved thanks to the XML format, which indeed allows processing and exchanging complex and heterogeneous data. Only, this format does not fit for classic OLAP systems and warehouse, furthermore there is not an existing standard allowing solving this issue. So we developed a multidimensional model which uses the object oriented model UML to describe a XML Document Warehouse (XDW). The warehouse schema (named StarCD) represents the documents structure in the source, such as it is known by the decision-maker. And we present in this article a new OLAP analysis language intended for decision-makers, which allows them to express complex query on a XDW described by its StarCD.Les systèmes OLAP basés sur des entrepôts de données sont aujourd’hui bien intégrés dans les organisations, ils facilitent le traitement et l’analyse de l’information pour la prise de décision. Le développement du Web a conduit à l’accroissement du volume de données traité, ainsi qu’à la diversification des sources de l’information. Ce problème de diversification a été en partie résolu grâce au langage XML. Celui-ci permet en effet le traitement et l’échange de données complexes et hétérogènes. Seulement c’est un format qui s’adapte mal aux systèmes OLAP et d’entrepôts classiques. De plus il n’existe à ce jour aucun standard permettant de répondre à cette problématique. Aussi nous avons développé un modèle multidimensionnel qui utilise le formalisme orienté objet UML pour décrire un entrepôt de documents XML orientés-document. Le schéma de cet entrepôt (appelé StarCD) représente la structure des documents à analyser, telle qu’elle est connue par le décideur. Et dans cet article nous présentons un nouveau langage d’analyse OLAP destiné aux décideurs, qui permet d’exprimer des requêtes complexes sur un entrepôt de documents XML décrit par un StarCD

Data Ingestion from a Data Lake: The Case of Document-oriented NoSQL Databases

International audienceNowadays, there is a growing need to collect and analyze data from different databases. Our work is part of a medical application that must allow health professionals to analyze complex data for decision making. We propose mechanisms to extract data from a data lake and store them in a NoSQL data warehouse. This will allow us to perform, in a second time, decisional analysis facilitated by the features offered by NoSQL systems (richness of data structures, query language, access performances). In this paper, we present a process to ingest data from a Data Lake into a warehouse. The ingestion consists in (1) transferring NoSQL DBs extracted from the Data Lake into a single NoSQL DB (the warehouse), (2) merging so-called "similar" classes, and (3) converting the links into references between objects. An experiment has been performed for a medical application

Extraction Process of the Logical Schema of a Document-oriented NoSQL Database

International audienceThe "schemaless" property, common to most NoSQL systems, means the absence of a data schema when creating a database (DB). This property brings an undeniable flexibility by allowing the schema to evolve during the use of DB. However, the absence of a schema is a major obstacle for developers and decision makers. Indeed, the expression of queries (of SQL type) requires a precise knowledge of this schema. In this paper, we propose an automatic process to extract the logical schema of document oriented NoSQL DBs. We chose the OrientDB NoSQL system which appeared to be the most suitable for the application in our project, because of its ability to express rich data structures and a diversity of links between data: association, composition and inheritance links. Our solution, based on the MDA architecture, proposes to metamodel a NoSQL DB and its schema. From these metamodels, transformation rules allow to extract the schema of the DB. The implementation of this process on an OrientDB DB allows users to have all the necessary elements (class names, properties, data types and links) for the elaboration of queries. An experimentation of the process was carried out on three test-DBs as well as on two massive industrial DBs